<!DOCTYPE html>



  


<html class="theme-next gemini use-motion" lang="zh-Hans">
<head><meta name="generator" content="Hexo 3.9.0">
  <meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
<meta name="theme-color" content="#222">









<meta http-equiv="Cache-Control" content="no-transform">
<meta http-equiv="Cache-Control" content="no-siteapp">
















  
  
  <link href="/lib/fancybox/source/jquery.fancybox.css?v=2.1.5" rel="stylesheet" type="text/css">




  
  
  
  

  
    
    
  

  

  

  
    
      
    

    
  

  
    
      
    

    
  

  
    
    
    <link href="//fonts.googleapis.com/css?family=Lato:300,300italic,400,400italic,700,700italic|Lobster Two:300,300italic,400,400italic,700,700italic|Roboto Mono:300,300italic,400,400italic,700,700italic&subset=latin,latin-ext" rel="stylesheet" type="text/css">
  






<link href="/lib/font-awesome/css/font-awesome.min.css?v=4.6.2" rel="stylesheet" type="text/css">

<link href="/css/main.css?v=5.1.4" rel="stylesheet" type="text/css">


  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png?v=5.1.4">


  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png?v=5.1.4">


  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png?v=5.1.4">


  <link rel="mask-icon" href="/images/logo.svg?v=5.1.4" color="#222">





  <meta name="keywords" content="cicd,coverage,">










<meta name="description" content="背景Shopee 供应链团队开发语言慢慢从 Python 切到了 Go 语言，代码覆盖率这种评估测试活动的常规手段也应该快速建设，业界在 Java、C++ 等语言有比较成熟的覆盖率方案，但在 Go 语言上较少，下文将介绍在这个背景下进行的挑战和实践。 Golang 原生有 go test 工具集用于覆盖率统计，但 go test 无法像 Jacoco、Gcov 这样轻松做到以集成测试的方式统计覆盖">
<meta name="keywords" content="cicd,coverage">
<meta property="og:type" content="article">
<meta property="og:title" content="Golang覆盖率实践">
<meta property="og:url" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/index.html">
<meta property="og:site_name" content="Yu&#39;s Home">
<meta property="og:description" content="背景Shopee 供应链团队开发语言慢慢从 Python 切到了 Go 语言，代码覆盖率这种评估测试活动的常规手段也应该快速建设，业界在 Java、C++ 等语言有比较成熟的覆盖率方案，但在 Go 语言上较少，下文将介绍在这个背景下进行的挑战和实践。 Golang 原生有 go test 工具集用于覆盖率统计，但 go test 无法像 Jacoco、Gcov 这样轻松做到以集成测试的方式统计覆盖">
<meta property="og:locale" content="zh-Hans">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/annotation.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/go_test.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/cover_profile.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/goc_annotation.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/goc_profile.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/arch.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/line_coverage.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/cover_merge_01.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/cover_merge_02.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/cover_merge_flow.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/cover_merge_03.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/ast.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/func_cover_merge.png">
<meta property="og:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/ast_merge_flow.png">
<meta property="og:updated_time" content="2023-02-23T12:31:14.830Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="Golang覆盖率实践">
<meta name="twitter:description" content="背景Shopee 供应链团队开发语言慢慢从 Python 切到了 Go 语言，代码覆盖率这种评估测试活动的常规手段也应该快速建设，业界在 Java、C++ 等语言有比较成熟的覆盖率方案，但在 Go 语言上较少，下文将介绍在这个背景下进行的挑战和实践。 Golang 原生有 go test 工具集用于覆盖率统计，但 go test 无法像 Jacoco、Gcov 这样轻松做到以集成测试的方式统计覆盖">
<meta name="twitter:image" content="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/annotation.png">



<script type="text/javascript" id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/',
    scheme: 'Gemini',
    version: '5.1.4',
    sidebar: {"position":"left","display":"hide","offset":12,"b2t":false,"scrollpercent":false,"onmobile":false},
    fancybox: true,
    tabs: true,
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    duoshuo: {
      userId: '0',
      author: '博主'
    },
    algolia: {
      applicationID: '9PFXHHRD2G',
      apiKey: '45293228d8a5cecc1c0826fb3d34a130',
      indexName: 'blog',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"没有找到任何结果: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>



  <link rel="canonical" href="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/">





  <title>Golang覆盖率实践 | Yu's Home</title>
  





  <script type="text/javascript">
    var _hmt = _hmt || [];
    (function() {
      var hm = document.createElement("script");
      hm.src = "https://hm.baidu.com/hm.js?1746d8de4fb78edd21f9004d348fa6be";
      var s = document.getElementsByTagName("script")[0];
      s.parentNode.insertBefore(hm, s);
    })();
  </script>




</head>

<body itemscope="" itemtype="http://schema.org/WebPage" lang="zh-Hans">

  
  
    
  

  <div class="container sidebar-position-left page-post-detail">
    <div class="headband"></div>

    <header id="header" class="header" itemscope="" itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-wrapper">
  <div class="site-meta ">
    

    <div class="custom-logo-site-title">
      <a href="/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">Yu's Home</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
      
        <h1 class="site-subtitle" itemprop="description">管它真理无穷</h1>
      
  </div>

  <div class="site-nav-toggle">
    <button>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
    </button>
  </div>
</div>

<nav class="site-nav">
  

  
    <ul id="menu" class="menu">
      
        
        <li class="menu-item menu-item-home">
          <a href="/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-home"></i> <br>
            
            首页
          </a>
        </li>
      
        
        <li class="menu-item menu-item-about">
          <a href="/about/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-user"></i> <br>
            
            关于Yu
          </a>
        </li>
      
        
        <li class="menu-item menu-item-tags">
          <a href="/tags/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-tags"></i> <br>
            
            标签
          </a>
        </li>
      
        
        <li class="menu-item menu-item-categories">
          <a href="/categories/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-th"></i> <br>
            
            分类
          </a>
        </li>
      
        
        <li class="menu-item menu-item-archives">
          <a href="/archives/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-archive"></i> <br>
            
            归档
          </a>
        </li>
      

      
        <li class="menu-item menu-item-search">
          
            <a href="javascript:;" class="popup-trigger">
          
            
              <i class="menu-item-icon fa fa-search fa-fw"></i> <br>
            
            搜索
          </a>
        </li>
      
    </ul>
  

  
    <div class="site-search">
      
  <div class="popup search-popup local-search-popup">
  <div class="local-search-header clearfix">
    <span class="search-icon">
      <i class="fa fa-search"></i>
    </span>
    <span class="popup-btn-close">
      <i class="fa fa-times-circle"></i>
    </span>
    <div class="local-search-input-wrapper">
      <input autocomplete="off" placeholder="搜索..." spellcheck="false" type="text" id="local-search-input">
    </div>
  </div>
  <div id="local-search-result"></div>
</div>



    </div>
  
</nav>



 </div>
    </header>

    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  <article class="post post-type-normal" itemscope="" itemtype="http://schema.org/Article">
  
  
  
  <div class="post-block">
    <link itemprop="mainEntityOfPage" href="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/">

    <span hidden itemprop="author" itemscope="" itemtype="http://schema.org/Person">
      <meta itemprop="name" content="Yu">
      <meta itemprop="description" content="">
      <meta itemprop="image" content="/images/xiaomai.png">
    </span>

    <span hidden itemprop="publisher" itemscope="" itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="Yu's Home">
    </span>

    
      <header class="post-header">

        
        
          <h2 class="post-title" itemprop="name headline">Golang覆盖率实践</h2>
        

        <div class="post-meta">
          <span class="post-time">
            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              
                <span class="post-meta-item-text">发表于</span>
              
              <time title="创建于" itemprop="dateCreated datePublished" datetime="2021-11-10T14:15:35+08:00">
                2021-11-10
              </time>
            

            

            
          </span>

          

          
            
              <span class="post-comments-count">
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
              <i class="fa fa-comment-o"></i>
              </span>
              <a href="/2021/11/10/Golang覆盖率实践/#comments" itemprop="discussionUrl">
              <span class="post-comments-count valine-comment-count" data-xid="/2021/11/10/Golang覆盖率实践/" itemprop="commentCount"></span>
              </a>
              </span>
            
          

          
          

          

          
            <div class="post-wordcount">
              
                
                <span class="post-meta-item-icon">
                  <i class="fa fa-file-word-o"></i>
                </span>
                
                  <span class="post-meta-item-text">字数统计&#58;</span>
                
                <span title="字数统计">
                  5,669
                </span>
              

              

              
            </div>
          

          

        </div>
      </header>
    

    
    
    
    <div class="post-body" itemprop="articleBody">

      
      

      
        <h2 id="背景"><a href="#背景" class="headerlink" title="背景"></a>背景</h2><p>Shopee 供应链团队开发语言慢慢从 Python 切到了 Go 语言，代码覆盖率这种评估测试活动的常规手段也应该快速建设，业界在 Java、C++ 等语言有比较成熟的覆盖率方案，但在 Go 语言上较少，下文将介绍在这个背景下进行的挑战和实践。</p>
<p>Golang 原生有 go test 工具集用于覆盖率统计，但 go test 无法像 Jacoco、Gcov 这样轻松做到以集成测试的方式统计覆盖率的能力。但经过分析有以下几个原因：</p>
<ol>
<li>go test 应用于单测场景，不是所有项目都有编写单测用例的习惯，虽然会有魔改 TestMain() 入口的方式收集手工测试和集成测试覆盖率的方式，但这种方式仍会对代码有侵入</li>
<li>只有退出后才能收集到覆盖率报告，无法实时获取覆盖率，不利于及时收集测试结果</li>
<li>分布式/微服务架构下，所有服务生成的报告需要自行聚合才能体现集群被测覆盖率</li>
</ol>
<p>为了解决以上问题，深入研究了 Go 覆盖率生态及其实现原理，并结合了七牛开源的 goc 集测覆盖率工具，实现了几乎无侵入的运行时覆盖率统计，并进而提供了 分支级别的增量覆盖率 和 基于AST实现的函数维度覆盖率合并 能力，并提供详细的 全量覆盖率 和 增量覆盖率 报告。</p>
<a id="more"></a> 

<h2 id="Go覆盖率原理"><a href="#Go覆盖率原理" class="headerlink" title="Go覆盖率原理"></a>Go覆盖率原理</h2><h3 id="插桩"><a href="#插桩" class="headerlink" title="插桩"></a>插桩</h3><p>覆盖率本质是在代码执行一行或者一块后，就认为这一行/块代码被覆盖，计数器加1，这就是插桩。</p>
<p>然而在不同的语言中，实现插桩的方式也有所不同，比如 Python，Python 有自己的解释器，标准库提供了方法 sys.settrace 给解释器设置一个回调函数，当解释器每执行一行代码就会调用一次回调函数，传入当前行的行号，最后统计所有执行到的行数即可；Java 有自己的 JVM，可以在字节码层面动态的插入探针（on the fly），不需要在源码当中插桩；而 C++ 和 Go 没有解释器也没有虚拟机，选择了在编译前对源代码进行插桩。</p>
<p>接下来我们来看一下 Go 插桩源码后的代码长啥样，执行命令<code>go tool cover -mode=count -var=CoverageVariableName demo.go</code>，输出：</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/annotation.png" alt="annotation.png" style="zoom:50%;"></div>

<ul>
<li>其中 CoverageVariableName.Count[0]++ 的一个个 counter，就是插桩。Go 插桩的逻辑是通过 AST 遍历在每一个基本块（basic block）前面设置 counter</li>
<li>CoverageVariableName 叫做 Cover 变量，由一个通用的结构体声明而来，结构体中每个成员的含义：<ul>
<li>Count 是一个 <code>uint32</code> 的数组，记录每个基本块被访问的次数 by counter</li>
<li>Pos 是一个二维的 <code>uint32</code> 数组，记录每个基本块在源码中的位置，4, 5, 0xd000d 分别是 起始在第四行，结束在第五行，结束列数和起始列数组合的16进制表示 <code>(end.Column&amp;0xFFFF)&lt;&lt;16|(start.Column&amp;0xFFFF)</code>，转换只是为了减少空间占用，读取时会转换为 int 表示</li>
<li>NumStmt 是一个 <code>uint16</code> 数组，记录每个基本块中包含的语句</li>
</ul>
</li>
</ul>
<h3 id="基本块"><a href="#基本块" class="headerlink" title="基本块"></a>基本块</h3><p>有些语言认为一行行的插桩非常低效，Go 也遵循了这一思想，把代码分成了很多基本块（basic block），在每个基本块中有多条语句（statement）。</p>
<p>语句等同于 AST 中的 <code>ast.Stmt</code> ，我们平时写的表达式、循环、分支都属于 <code>ast.Stmt</code>，而基本块的概念从Go 1.13 源码 <code>src/cmd/cover/cover.go</code> 中验证得知：</p>
<ol>
<li>Go 通过实现 ast.Walk 的 Visitor 接口，注册后在 <code>ast.Walk</code> 时进行代码块的插桩</li>
<li>Visit 方法以 <code>ast.BlockStmt</code> 为入口（即函数作为入口），遍历 ast 子树下的基本块前进行插桩，基本块以<strong>改变了控制流</strong>或者<strong>有局部匿名函数的声明</strong>来进行划分，粒度上 <code>basic block</code> &gt;= <code>ast.Stmt</code></li>
</ol>
<blockquote>
<p>控制流即分支、循环、条件判断、panic等 ast 节点，基本块的判断逻辑参考：src/cmd/cover/cover.go:402</p>
</blockquote>
<h3 id="go-test-cover"><a href="#go-test-cover" class="headerlink" title="go test -cover"></a>go test -cover</h3><p>在讨论 goc 做了哪些工作前，我们来看看 go test -cover 是如何统计覆盖率的：</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/go_test.png" alt="go_test" style="zoom:50%;"></div>

<p>前面两步在进行插桩后编译，第三步很特别，go test 根据前面插桩的文件根据统一模板生成一个 _testmain.go 的入口文件，模板 import 了前面插过桩的包，并把文件中的 Cover 变量中的值统一注册管理，在单测完成后根据 Cover 变量同步生成 coverProfile。</p>
<p>如果指定了 -coverprofile，还可以看到生成的 coverProfile 文件：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">mode: count</span><br><span class="line">git.garena.com/shopee/bg-logistics/qa/dms/infra/exception.go:12.61,14.2 1 2</span><br><span class="line">git.garena.com/shopee/bg-logistics/qa/dms/infra/exception.go:16.36,18.2 1 0</span><br><span class="line">...</span><br></pre></td></tr></table></figure>

<div align="center"><img src="/2021/11/10/Golang覆盖率实践/cover_profile.png" alt="cover_profile" style="zoom:50%;"></div>



<h3 id="goc-做了什么"><a href="#goc-做了什么" class="headerlink" title="goc 做了什么"></a>goc 做了什么</h3><p>goc 和 go test 的实现原理类似，但在集测方面的支持更加友好。</p>
<p>goc 在以下主要方面做了改动：</p>
<ol>
<li>不利用测试文件入口进行插桩，而是从服务入口对整个工程进行插桩</li>
<li>不在测试完成后统计覆盖率，通过模板的方式给每个服务入口注入HTTP API，实现运行时拉取覆盖率</li>
<li>引入 goc server 服务注册中心的概念，和所有的被测端服务通过 HTTP API 进行通信，获取整个集群的覆盖率</li>
<li>提供了一组命令行工具，goc build、goc run等，对齐 go build 和 go run，让接入做到无代码侵入</li>
</ol>
<p>谈到 goc 的插桩逻辑，goc 首先会拷贝整个工程到临时目录，插桩逻辑相比原生 go test 实现的区别在于插桩的变量不再由 __testmain.go 统一注册，而是注册到 goc 注入的 HTTP server，核心逻辑没有区别，所以最终的 coverprofile 兼容 go test -cover。</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/goc_annotation.png" alt="goc_annotation" style="zoom:50%;"></div>

<p>在注入完成后，源码也已经改造完成，最后调用原生的 go build/install/run 命令进行编译。</p>
<p>当服务启动后，注入的 HTTP server 首先会向 goc server 上报自己 ip 地址和 HTTP API 端口。</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/goc_profile.png" alt="goc_profile" style="zoom:50%;"></div>

<p>客户端向 goc server 请求时，goc server 就可以根据客户端的请求参数向同一仓库的服务拉取覆盖率并聚合成一份报告，返回给客户端。</p>
<h2 id="改版后的-goc-架构"><a href="#改版后的-goc-架构" class="headerlink" title="改版后的 goc 架构"></a>改版后的 goc 架构</h2><p>在 goc 部署上线后，结合用户诉求并加上一段时间的实践后，goc 在供应链不断演变成以下的架构。接下来将主要介绍一下增量覆盖率的实践过程。</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/arch.png" alt="architecture" style="zoom:50%;"></div>

<h2 id="增量覆盖率实现"><a href="#增量覆盖率实现" class="headerlink" title="增量覆盖率实现"></a>增量覆盖率实现</h2><p>goc 给我们提供了服务集成测试的能力，但统计的仍是全量的覆盖率。</p>
<p>在大部分业务场景，仓库代码量是很大的，在做非回归测试的时候，通常只会关注新增的代码是否覆盖全面，这时候增量覆盖率就非常有意义了。</p>
<h3 id="增量覆盖率方案"><a href="#增量覆盖率方案" class="headerlink" title="增量覆盖率方案"></a>增量覆盖率方案</h3><p>代码覆盖率的指标只针对新增的改动即增量覆盖率的意义。</p>
<p>因此统计增量覆盖率一定需要差量代码部分。</p>
<p>增量覆盖率统计目前常见的两种方式是：<code>增量注入</code> 和 <code>增量报告</code></p>
<h4 id="增量注入"><a href="#增量注入" class="headerlink" title="增量注入"></a>增量注入</h4><p>增量注入大致做法是解析 AST(抽象语法树) 在编译时发现变更的代码部分后对增量的 asm 字节码插桩。</p>
<p>这种方式实现成本很高，并且存在几个问题：</p>
<ol>
<li>需要基于上一次编译的字节码上增量编译才能被解析出增量部分，但 Go 没有字节码，只有转换到汇编之前的中间代码概念</li>
<li>每次重新插桩会丢失之前的覆盖率信息，无法直接合并未改动代码的覆盖率</li>
</ol>
<h4 id="增量报告"><a href="#增量报告" class="headerlink" title="增量报告"></a>增量报告</h4><p>获取增量代码，首先想到的可以通过 <code>git diff</code> 命令，<code>git diff</code> 可以获取任意两个分支、commit、stash暂存之间的代码差异，例如提交 781c45a 和 9de64e0 的 diff 差异如下：</p>
<figure class="highlight go"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br></pre></td><td class="code"><pre><span class="line">diff --git a/greetings/hello.<span class="keyword">go</span> b/greetings/hello.<span class="keyword">go</span> </span><br><span class="line">index <span class="number">791</span>c45a.<span class="number">.9d</span>e64e0 <span class="number">100644</span> </span><br><span class="line">--- a/greetings/hello.<span class="keyword">go</span> </span><br><span class="line">+++ b/greetings/hello.<span class="keyword">go</span> </span><br><span class="line">@@ <span class="number">-13</span>, <span class="number">7</span> +<span class="number">13</span>,<span class="number">8</span> @@ <span class="function"><span class="keyword">func</span> <span class="title">Hello</span><span class="params">(name <span class="keyword">string</span>)</span> <span class="params">(<span class="keyword">string</span>, error)</span></span> &#123; </span><br><span class="line">-  message := fmt.Sprint(<span class="string">"123"</span>)</span><br><span class="line">+  message := fmt.Sprint(<span class="string">"456"</span>)</span><br><span class="line">+</span><br><span class="line">  <span class="keyword">return</span> message, <span class="literal">nil</span></span><br></pre></td></tr></table></figure>

<p>其中 “+” 标识的行就是增量代码，增量覆盖率统计中关心的主要部分</p>
<p>这时候如果我们能获取全量的覆盖率信息，过滤出增量代码部分，即可以统计出增量覆盖率。</p>
<p>这种方案的优点有：</p>
<ol>
<li>实现较为简单，灵活性高，可以获得任意两个commit的增量覆盖率</li>
<li>可以获取到每一次的增量覆盖率报告，就可以合并不同commit中未改动代码的覆盖率</li>
</ol>
<p>缺点是：只适用于行增量覆盖率</p>
<p>综合考虑，goc 采用了<strong>增量报告</strong>的实现。</p>
<h3 id="计算方法"><a href="#计算方法" class="headerlink" title="计算方法"></a>计算方法</h3><p>首先通过 <code>git diff</code> 获取了任意两个 commit 间的增量代码部分，但在前面有介绍过 Go 插桩的代码入口是函数，所以并不是所有的增量代码都会被统计到覆盖率当中。</p>
<p>之前介绍的 coverProfile 文件是所有插桩的代码块覆盖率信息，只要增量代码的行能映射到全量覆盖率的块中，就认为这一行代码的覆盖信息与块一一对应。</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/line_coverage.png" alt="line_coverage.png" style="zoom:50%;"></div>

<p>为了利用现成的 go tool cover 工具链，生成的行增量覆盖率报告仍兼容了 coverProfile 格式要求：</p>
<ul>
<li>起始行和终止行是同一行，起始列和终止列设为 1 和 10000，简单兼容 go tool cover -html 的染色逻辑</li>
<li>简单认为一行就是一个语句，NumStat 固定 1</li>
</ul>
<p>而且行增量覆盖率的百分比统计完全可以复用块覆盖率统计的方式：</p>
<p><strong>被覆盖的语句数量 / 所有的语句数量</strong></p>
<blockquote>
<p>被覆盖即覆盖次数大于 0</p>
</blockquote>
<h2 id="增量覆盖率的合并"><a href="#增量覆盖率的合并" class="headerlink" title="增量覆盖率的合并"></a>增量覆盖率的合并</h2><p>结合供应链以release为基线，其他需求分支合流的分支管理特点，集成到 研发流程系统 中对部署的分支相比线上 release 分支的差异提供增量覆盖率报告。</p>
<p>在上线试运行一段时间后，用户反馈实际场景测试往往都是一个迭代过程，修复 &lt;-&gt; 测试 -&gt; 完成测试，所以一个分支通常有新的修复后又重新部署测试，那这样就导致之前 git commit 的增量覆盖率丢失了，覆盖率的合并就急需支持。</p>
<h3 id="分支级别的增量覆盖率合并"><a href="#分支级别的增量覆盖率合并" class="headerlink" title="分支级别的增量覆盖率合并"></a>分支级别的增量覆盖率合并</h3><p>我们可以把问题抽象为不同 git commit 的代码覆盖率的合并，具体又分为两个主要问题：</p>
<ol>
<li>哪些代码可以合并？</li>
<li>怎么合并？</li>
</ol>
<h4 id="哪些代码可以合并"><a href="#哪些代码可以合并" class="headerlink" title="哪些代码可以合并"></a>哪些代码可以合并</h4><p>首先可以直观想到，没有变动的代码可以合并，没有变动的代码可能有如下这些情况：</p>
<ul>
<li>同一个文件没有变动</li>
<li>相同文件中同一个函数没有变动</li>
<li>相同文件中同一行代码没有变动</li>
<li>相同文件中同一个函数下的同一行代码没有变动</li>
</ul>
<p>让我们分情况来讨论下。</p>
<p><strong>同一个文件没有变动</strong>。那当然可以合并，而且 coverProfile 的合并只需要简单映射合并即可。</p>
<p><strong>相同文件中同一个函数没有变动</strong>。这种通常就是函数换了个位置，也是可以合并的，但如何判断两个函数相同十分复杂，Go 方法的声明和词法多种多样，需要判断相同方法体仅凭文本匹配是难以做到且难以维护的，实现成本较高，暂不考虑。</p>
<p><strong>相同文件中同一行代码没有变动</strong>。我们用一张图来说明这个问题</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/cover_merge_01.png" alt="cover_merge_01" style="zoom:40%;"></div>


<p>funcB 中的一行代码和 funcC 中的一致，产生的影响是不一样的，所以不能进行合并。</p>
<p><strong>相同文件中同一个函数下的同一行代码没有变动</strong>。这个问题分两个场景谈：</p>
<p>第一个问题是类似上一个场景的问题，相同代码在同一函数出现多次怎么合，或许有人会用 git diff 去判断是哪一行代码有改动，但 git diff 采用的 Myers 算法是做两个文本的最短(最直观)差异，无法精细的划分出相同代码，一个最简单反例就是两个函数的换位会被 git diff 过滤掉一大部分相同代码。</p>
<p>第二个问题是相同代码会有被其他代码改变了控制流的风险，导致漏测。以某个方法为例，做了一个分支条件，根据 funcA() 的返回值来路由</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/cover_merge_02.png" alt="cover_merge_02" style="zoom:50%;"></div>


<p>现在我们把 funcA() 替换为 funcB()，如果用这个策略去合并的话，那 <code>else{}</code> 代码块也会被算作已覆盖，但 funcB() 可能存在逻辑问题永远为真，这样对于测试人员就很容易漏测。</p>
<blockquote>
<p>总结一下：同一个文件没有变动 和 相同文件中同一个函数没有变动 的策略是可行的，另外两种方式可能会导致覆盖率误合并从而漏测，秉持着<strong>改过即测过</strong>的原则，宁可再测一遍，也不能带来这种漏测的风险。</p>
</blockquote>
<h4 id="合并流程"><a href="#合并流程" class="headerlink" title="合并流程"></a>合并流程</h4><p>同一个文件没有变动的合并算法，我们可以继续利用之前的 git diff 逻辑，对于 git diff 后没有差异的文件，我们直接合并两个 commit 的 coverProfile 文件。</p>
<p>整个合并流程如下：</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/cover_merge_flow.png" alt="cover_merge_flow" style="zoom:50%;"></div>


<h3 id="基于AST实现函数维度的增量覆盖率合并"><a href="#基于AST实现函数维度的增量覆盖率合并" class="headerlink" title="基于AST实现函数维度的增量覆盖率合并"></a>基于AST实现函数维度的增量覆盖率合并</h3><p>随着越来越多的业务方通过覆盖率作为指导测试的指标，有用户提出在使用增量覆盖率能力时，有的需求分支的覆盖率会在一次修改后大大降低，其原因有二点：</p>
<ol>
<li>业务方的改动范围太大，多处场景无法与之前的提交进行覆盖率合并</li>
<li>目前的增量合并维度是文件，如果一个文件代码有变更，则无法与之前的提交进行覆盖率合并</li>
</ol>
<p>之前讨论过，<strong>相同文件中同一个函数没有变动</strong> 这个策略可行，但如何落地则是一大挑战。</p>
<p>我们继续来细化这个问题。<strong>相同文件中同一个函数没有变动</strong>引申出几个问题：</p>
<ol>
<li>函数如何算作相同？</li>
<li>如何比较两个函数相同？</li>
<li>函数有哪些？</li>
</ol>
<h4 id="函数如何算作相同"><a href="#函数如何算作相同" class="headerlink" title="函数如何算作相同"></a>函数如何算作相同</h4><p>直观来看，函数代码没有变化就是相同，如下图的函数 B()</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/cover_merge_03.png" alt="cover_merge_03" style="zoom:50%;"></div>

<p>抛开实现不谈，函数相同会有如下这些场景：</p>
<ol>
<li><p>同一文件内函数 B() 的行号变化了但是代码没有变化，即「函数换位」</p>
</li>
<li><p>可以忽略空行、空格等format的变化</p>
</li>
<li><p>忽略注释</p>
</li>
<li><p>Go 中有一些不同语法的相同语义表示。虽然这种不常见，但从完整性的角度一起列出来，例如：</p>
<figure class="highlight go"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line"><span class="built_in">println</span>(<span class="string">"hello"</span>);</span><br><span class="line"><span class="comment">// same with</span></span><br><span class="line"><span class="built_in">println</span>(</span><br><span class="line">  <span class="string">"hello"</span>,</span><br><span class="line">)</span><br></pre></td></tr></table></figure>

</li>
</ol>
<h4 id="比较两个函数是否相同"><a href="#比较两个函数是否相同" class="headerlink" title="比较两个函数是否相同"></a>比较两个函数是否相同</h4><p>比较两个函数相同有两种思路。<strong>文本匹配</strong> 和 <strong>AST 比较</strong></p>
<h5 id="文本匹配"><a href="#文本匹配" class="headerlink" title="文本匹配"></a>文本匹配</h5><p>通过解析文件内容，进行相同代码块的匹配，匹配一致则这两个函数相同。</p>
<p>但这种方法对于之前提到的一些场景几乎是无法应对的，虽然说可以优化不同场景的match算法，也能过滤掉注释，和解决format问题，问题一是实现成本很高，需要定制算法应对不同语法场景；二是文本匹配的粒度不够细，无法针对特定语法进行灵活的支持；三是对于后续Go版本的新增语法的兼容和维护成本不可控。</p>
<h5 id="AST-比较"><a href="#AST-比较" class="headerlink" title="AST 比较"></a>AST 比较</h5><p>通过 <a href="https://en.wikipedia.org/wiki/Abstract_syntax_tree" target="_blank" rel="noopener">抽象语法树</a>（Abstract Syntax Tree、AST）来解决这个问题。</p>
<p>Go 的 AST 会经过 Scan（代码扫描），Parse（词法分析），Create AST-&gt;Analyze and rewrite AST （语法分析到创建词法树阶段）；其中相比文本匹配拥有天然的优势：提供了完整的工具链、粒度到Go的词法级别、语法升级向后兼容。</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/ast.png" alt="ast" style="zoom:60%;"></div>

<p>我们用实际例子来看看 AST 如何进行函数比较，以如下代码为例：</p>
<figure class="highlight go"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line"><span class="keyword">package</span> main</span><br><span class="line"></span><br><span class="line"><span class="function"><span class="keyword">func</span> <span class="title">increase</span><span class="params">(v1 <span class="keyword">int</span>)</span> <span class="title">int</span></span> &#123;</span><br><span class="line">  <span class="keyword">return</span> v1 + <span class="number">1</span>;  <span class="comment">// a unused semicolon</span></span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<p>解析出的 AST 如下（省略部分结构）：</p>
<figure class="highlight go"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br><span class="line">47</span><br><span class="line">48</span><br><span class="line">49</span><br><span class="line">50</span><br></pre></td><td class="code"><pre><span class="line">*ast.File &#123;</span><br><span class="line">.  Package: demo.<span class="keyword">go</span>:<span class="number">1</span>:<span class="number">1</span></span><br><span class="line">.  Name: *ast.Ident &#123;</span><br><span class="line">.  .  NamePos: demo.<span class="keyword">go</span>:<span class="number">1</span>:<span class="number">9</span></span><br><span class="line">.  .  Name: <span class="string">"main"</span></span><br><span class="line">.  &#125;</span><br><span class="line">.  Decls: []ast.Decl (<span class="built_in">len</span> = <span class="number">1</span>) &#123;</span><br><span class="line">.  .  <span class="number">0</span>: *ast.FuncDecl &#123;</span><br><span class="line">.  .  .  Name: *ast.Ident &#123;</span><br><span class="line">.  .  .  .  NamePos: demo.<span class="keyword">go</span>:<span class="number">3</span>:<span class="number">6</span></span><br><span class="line">.  .  .  .  Name: <span class="string">"increase"</span></span><br><span class="line">.  .  .  .  Obj: ...</span><br><span class="line">.  .  .  &#125;</span><br><span class="line">.  .  .  Type: *ast.FuncType &#123;</span><br><span class="line">.  .  .  .  Func: demo.<span class="keyword">go</span>:<span class="number">3</span>:<span class="number">1</span></span><br><span class="line">                ...</span><br><span class="line">.  .  .  .  &#125;</span><br><span class="line">.  .  .  .  Results: *ast.FieldList &#123;</span><br><span class="line">                ...</span><br><span class="line">.  .  .  .  &#125;</span><br><span class="line">.  .  .  &#125;</span><br><span class="line">.  .  .  Body: *ast.BlockStmt &#123;</span><br><span class="line">.  .  .  .  Lbrace: demo.<span class="keyword">go</span>:<span class="number">3</span>:<span class="number">27</span></span><br><span class="line">.  .  .  .  List: []ast.Stmt (<span class="built_in">len</span> = <span class="number">1</span>) &#123;</span><br><span class="line">.  .  .  .  .  <span class="number">0</span>: *ast.ReturnStmt &#123;</span><br><span class="line">.  .  .  .  .  .  Return: demo.<span class="keyword">go</span>:<span class="number">4</span>:<span class="number">2</span></span><br><span class="line">.  .  .  .  .  .  Results: []ast.Expr (<span class="built_in">len</span> = <span class="number">1</span>) &#123;</span><br><span class="line">.  .  .  .  .  .  .  <span class="number">0</span>: *ast.BinaryExpr &#123;</span><br><span class="line">.  .  .  .  .  .  .  .  X: *ast.Ident &#123;</span><br><span class="line">.  .  .  .  .  .  .  .  .  NamePos: demo.<span class="keyword">go</span>:<span class="number">4</span>:<span class="number">9</span></span><br><span class="line">.  .  .  .  .  .  .  .  .  Name: <span class="string">"v1"</span></span><br><span class="line">.  .  .  .  .  .  .  .  .  Obj: *(obj @ <span class="number">27</span>)</span><br><span class="line">.  .  .  .  .  .  .  .  &#125;</span><br><span class="line">.  .  .  .  .  .  .  .  OpPos: demo.<span class="keyword">go</span>:<span class="number">4</span>:<span class="number">12</span></span><br><span class="line">.  .  .  .  .  .  .  .  Op: +</span><br><span class="line">.  .  .  .  .  .  .  .  Y: *ast.BasicLit &#123;</span><br><span class="line">.  .  .  .  .  .  .  .  .  ValuePos: demo.<span class="keyword">go</span>:<span class="number">4</span>:<span class="number">14</span></span><br><span class="line">.  .  .  .  .  .  .  .  .  Kind: INT</span><br><span class="line">.  .  .  .  .  .  .  .  .  Value: <span class="string">"1"</span></span><br><span class="line">.  .  .  .  .  .  .  .  &#125;</span><br><span class="line">.  .  .  .  .  .  .  &#125;</span><br><span class="line">.  .  .  .  .  .  &#125;</span><br><span class="line">.  .  .  .  .  &#125;</span><br><span class="line">.  .  .  .  &#125;</span><br><span class="line">.  .  .  .  Rbrace: demo.<span class="keyword">go</span>:<span class="number">5</span>:<span class="number">1</span></span><br><span class="line">.  .  .  &#125;</span><br><span class="line">.  .  &#125;</span><br><span class="line">.  &#125;</span><br><span class="line">...</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<p>可以看到 <code>*ast.File</code> 下的顶级声明（ <code>Decls</code> ）只有一个函数声明（ <code>*ast.FuncDecl</code> )，这个函数声明的词法表示有 Name(function/method name)、Type(function signature)、Body(function body)。</p>
<p>观察得知：</p>
<ol>
<li>其中有一些表示位置的参数，例如某个字段或某个标识的位置NamePos，左右花括号Lbrace和Rbrace等。经过验证，<strong>函数的换位</strong>，<strong>空行</strong>，<strong>空格</strong>的变化影响的仅仅是这些位置参数，所以可以通过简单的屏蔽这些位置参数去进行函数比较</li>
<li>上面的例子中函数返回时带上了分号，但 AST 中并没有这个分号的表示，在 Go 目前的词法解析当中，会将一些场景的相同语义的不同语法表示统一化，在之前需求中提到的分号和参数换行的逗号都不会在语法树中体现，唯一的区别也只是一些位置参数的变化</li>
<li>对于注释，可以在使用工具链 <code>go/parser</code> 时，指定 parser 的 mode != ParseComments 即可解决</li>
</ol>
<p>所以基于 AST 判断两个函数是否相同是能够完全满足上述需求的。</p>
<h4 id="函数比较器"><a href="#函数比较器" class="headerlink" title="函数比较器"></a>函数比较器</h4><p>那如何比较 AST 生成的两个函数结构体相等呢？并且在比较的时候需要支持：</p>
<ol>
<li>找出 AST 中所有的函数/方法</li>
<li>结构体比较需要忽略 token.Pos 的比较，并且 AST 中有一些 obj 的循环引用，能够检测并终止比较</li>
</ol>
<p><strong>找出 AST 中所有的函数/方法</strong></p>
<p>Go 中的函数有全局函数、结构体方法、全局匿名函数、局部匿名函数。</p>
<p>其中局部匿名函数属于另一个函数中，可以将其也视作外层函数中的一个代码块，不作考虑。</p>
<p>其中结构体方法又分为指针接收器和值接收器的方法，但对同名方法仍有冲突，不作区分。</p>
<p>全局函数和全局匿名函数不能同名，可以不作区分。</p>
<p>所以对于全局函数（包括全局匿名函数）、结构体方法我们需要区分开来，就算同名同参也是不同的函数。</p>
<p>整理了一下不同函数在 AST 中的表示区别：</p>
<table>
<thead>
<tr>
<th align="left">函数类型</th>
<th align="left">AST中的类型</th>
<th align="left">包含的非空属性</th>
<th align="left">是否为top-level declarations</th>
</tr>
</thead>
<tbody><tr>
<td align="left">全局函数</td>
<td align="left">*ast.FuncDecl</td>
<td align="left">Doc, Name, Type, Body</td>
<td align="left">是</td>
</tr>
<tr>
<td align="left">结构体方法</td>
<td align="left">*ast.FuncDecl</td>
<td align="left">Doc, Recv, Name, Type, Body</td>
<td align="left">是</td>
</tr>
<tr>
<td align="left">匿名函数</td>
<td align="left">*ast.FuncLit</td>
<td align="left">Doc, Type, Body</td>
<td align="left">否</td>
</tr>
</tbody></table>
<p>这样就可以通过遍历 AST 中的 Decl 结构找出文件中的所有函数结构体表示了。</p>
<p><strong>结构体比较</strong></p>
<p>起初采用 <a href="https://github.com/google/go-cmp" target="_blank" rel="noopener">go-cmp</a> 包来实现结构体的比较，其相比 reflect.DeepEqual 更加强大，可以用于比较值在语义上是否相等，并且支持自定义 compare 函数过滤某两种类型的值过滤等等。但经过测试，它的性能不佳，对于 AST 这种较大的结构体，产生了更多的内存消耗和 gc，最终还是通过改写更轻量的 reflect.DeepEqual 来比较 AST结构体。</p>
<h4 id="合并流程-1"><a href="#合并流程-1" class="headerlink" title="合并流程"></a>合并流程</h4><p>现在已经通过 AST 拥有了函数比较的能力，但如何将两个相同函数的覆盖率进行合并还有最后一个问题：<strong>行号对应不上</strong>。</p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/func_cover_merge.png" alt="func_cover_merge.png" style="zoom:50%;"></div>

<p>Go 中本来没有行覆盖率的概念，只有块覆盖率，在之前设计行增量覆盖率时，是通过 <code>git diff</code> 结合块覆盖率实现的，因为行属于块，命中块覆盖率就可以认为其中的行都被覆盖。</p>
<p>基于上述实现，我们可以作出假设，行被覆盖也可以反过来认为其所属的块都被覆盖，对于 commitA 中的 <code>&quot;Hello&quot;</code> 被覆盖的话，我们认为 commitC 中的整个 <code>fmt.Println</code> 代码块都被覆盖。</p>
<p>不过，块覆盖率中的块是基本块，AST 中比较的块是 ast.Stmt，从前面 Go 覆盖率原理中提出基本块是由 ast.Stmt 组合而成，相同函数中的 ast.Stmt 数量相等且顺序相等，基本块也同理。</p>
<p>算法总结：<strong>首先通过 AST 比较出两个函数的结构体表示相等，然后按基本块进行顺序映射合并行覆盖率</strong></p>
<div align="center"><img src="/2021/11/10/Golang覆盖率实践/ast_merge_flow.png" alt="image-20220104150455465" style="zoom:50%;"></div>

<h2 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h2><p>从 Go 的原生覆盖率问题出发，介绍了 Go 的覆盖率原理，关于什么是插桩还引申了各种语言的实现思路。</p>
<p>引出 goc 的集测实现原理和 go test 类似，比较了区别并详细介绍 goc 是如何优雅做到 Go 集成测试覆盖率统计的。</p>
<p>结合供应链的特点，基于 git diff 实现了分支级别的增量覆盖率。</p>
<p>关于增量覆盖率合并的问题，引申出覆盖率合并的参考标准，并给出基于 AST 实现精细到函数维度的增量覆盖率合并方案。</p>
<h2 id="参考"><a href="#参考" class="headerlink" title="参考"></a>参考</h2><ul>
<li><a href="https://github.com/qiniu/goc" target="_blank" rel="noopener">Qiniu goc</a></li>
<li><a href="https://mp.weixin.qq.com/s/aKI0NO4-WQwK0gxF7RDSnA" target="_blank" rel="noopener">Qiniu blog</a></li>
<li><a href="https://tech.meituan.com/2017/06/16/android-jacoco-practace.html" target="_blank" rel="noopener">Android增量代码测试覆盖率工具(美团)</a></li>
</ul>

      
    </div>
    
    
    

    

    
      <div>
        <div style="padding: 10px 0; margin: 20px auto; width: 90%; text-align: center;">
  <div>觉得好的话就打赏Ta一瓶冰阔落吧</div>
  <button id="rewardButton" disable="enable" onclick="var qr = document.getElementById('QR'); if (qr.style.display === 'none') {qr.style.display='block';} else {qr.style.display='none'}">
    <span>打赏</span>
  </button>
  <div id="QR" style="display: none;">

    
      <div id="wechat" style="display: inline-block">
        <img id="wechat_qr" src="/images/wechatpay.jpg" alt="Yu 微信支付">
        <p>微信支付</p>
      </div>
    

    
      <div id="alipay" style="display: inline-block">
        <img id="alipay_qr" src="/images/alipay.jpg" alt="Yu 支付宝">
        <p>支付宝</p>
      </div>
    

    

  </div>
</div>

      </div>
    

    
      <div>
        <ul class="post-copyright">
  <li class="post-copyright-author">
    <strong>本文作者：</strong>
    Yu
  </li>
  <li class="post-copyright-link">
    <strong>本文链接：</strong>
    <a href="https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/" title="Golang覆盖率实践">https://yujunjiex.gitee.io/2021/11/10/Golang覆盖率实践/</a>
  </li>
  <li class="post-copyright-license">
    <strong>版权声明： </strong>
    本博客所有文章除特别声明外，均采用 <a href="https://creativecommons.org/licenses/by-nc-sa/3.0/" rel="external nofollow" target="_blank">CC BY-NC-SA 3.0</a> 许可协议。转载请注明出处！
  </li>
</ul>

      </div>
    

    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/tags/cicd/" rel="tag"># cicd</a>
          
            <a href="/tags/coverage/" rel="tag"># coverage</a>
          
        </div>
      

      
      
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/2021/07/19/记录一次小程序抢名额的逆向过程/" rel="next" title="记录一次小程序抢名额的逆向过程">
                <i class="fa fa-chevron-left"></i> 记录一次小程序抢名额的逆向过程
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/2022/03/20/Git-tutor/" rel="prev" title="Git tutor">
                Git tutor <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </div>
  
  
  
  </article>



    <div class="post-spread">
      
        <!-- Go to www.addthis.com/dashboard to customize your tools -->
<div class="addthis_inline_share_toolbox">
  <script type="text/javascript" src="//s7.addthis.com/js/300/addthis_widget.js#pubid=ra-5b03d4a278f58ab9" async="async"></script>
</div>

      
    </div>
  </div>


          </div>
          


          

  
    <div class="comments" id="comments">
    </div>
  



        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap">
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview-wrap">
            站点概览
          </li>
        </ul>
      

      <section class="site-overview-wrap sidebar-panel">
        <div class="site-overview">
          <div class="site-author motion-element" itemprop="author" itemscope="" itemtype="http://schema.org/Person">
            
              <img class="site-author-image" itemprop="image" src="/images/xiaomai.png" alt="Yu">
            
              <p class="site-author-name" itemprop="name">Yu</p>
              <p class="site-description motion-element" itemprop="description"></p>
          </div>

          <nav class="site-state motion-element">

            
              <div class="site-state-item site-state-posts">
              
                <a href="/archives/">
              
                  <span class="site-state-item-count">28</span>
                  <span class="site-state-item-name">日志</span>
                </a>
              </div>
            

            

            
              
              
              <div class="site-state-item site-state-tags">
                <a href="/tags/index.html">
                  <span class="site-state-item-count">30</span>
                  <span class="site-state-item-name">标签</span>
                </a>
              </div>
            

          </nav>

          

          
            <div class="links-of-author motion-element">
                
                  <span class="links-of-author-item">
                    <a href="https://github.com/yujunjiex" target="_blank" title="GitHub">
                      
                        <i class="fa fa-fw fa-github"></i>GitHub</a>
                  </span>
                
            </div>
          

          
          

          
          

          

        </div>
      </section>

      
      <!--noindex-->
        <section class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
              
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-2"><a class="nav-link" href="#背景"><span class="nav-number">1.</span> <span class="nav-text">背景</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#Go覆盖率原理"><span class="nav-number">2.</span> <span class="nav-text">Go覆盖率原理</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#插桩"><span class="nav-number">2.1.</span> <span class="nav-text">插桩</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#基本块"><span class="nav-number">2.2.</span> <span class="nav-text">基本块</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#go-test-cover"><span class="nav-number">2.3.</span> <span class="nav-text">go test -cover</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#goc-做了什么"><span class="nav-number">2.4.</span> <span class="nav-text">goc 做了什么</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#改版后的-goc-架构"><span class="nav-number">3.</span> <span class="nav-text">改版后的 goc 架构</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#增量覆盖率实现"><span class="nav-number">4.</span> <span class="nav-text">增量覆盖率实现</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#增量覆盖率方案"><span class="nav-number">4.1.</span> <span class="nav-text">增量覆盖率方案</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#增量注入"><span class="nav-number">4.1.1.</span> <span class="nav-text">增量注入</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#增量报告"><span class="nav-number">4.1.2.</span> <span class="nav-text">增量报告</span></a></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#计算方法"><span class="nav-number">4.2.</span> <span class="nav-text">计算方法</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#增量覆盖率的合并"><span class="nav-number">5.</span> <span class="nav-text">增量覆盖率的合并</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#分支级别的增量覆盖率合并"><span class="nav-number">5.1.</span> <span class="nav-text">分支级别的增量覆盖率合并</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#哪些代码可以合并"><span class="nav-number">5.1.1.</span> <span class="nav-text">哪些代码可以合并</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#合并流程"><span class="nav-number">5.1.2.</span> <span class="nav-text">合并流程</span></a></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#基于AST实现函数维度的增量覆盖率合并"><span class="nav-number">5.2.</span> <span class="nav-text">基于AST实现函数维度的增量覆盖率合并</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#函数如何算作相同"><span class="nav-number">5.2.1.</span> <span class="nav-text">函数如何算作相同</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#比较两个函数是否相同"><span class="nav-number">5.2.2.</span> <span class="nav-text">比较两个函数是否相同</span></a><ol class="nav-child"><li class="nav-item nav-level-5"><a class="nav-link" href="#文本匹配"><span class="nav-number">5.2.2.1.</span> <span class="nav-text">文本匹配</span></a></li><li class="nav-item nav-level-5"><a class="nav-link" href="#AST-比较"><span class="nav-number">5.2.2.2.</span> <span class="nav-text">AST 比较</span></a></li></ol></li><li class="nav-item nav-level-4"><a class="nav-link" href="#函数比较器"><span class="nav-number">5.2.3.</span> <span class="nav-text">函数比较器</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#合并流程-1"><span class="nav-number">5.2.4.</span> <span class="nav-text">合并流程</span></a></li></ol></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#总结"><span class="nav-number">6.</span> <span class="nav-text">总结</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#参考"><span class="nav-number">7.</span> <span class="nav-text">参考</span></a></li></ol></div>
            

          </div>
        </section>
      <!--/noindex-->
      

      

    </div>
  </aside>


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright">&copy; 2018 &mdash; <span itemprop="copyrightYear">2023</span>
  <span class="with-love">
    <i class="fa fa-heartbeat"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">Yu</span>

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-area-chart"></i>
    </span>
    
      <span class="post-meta-item-text">Site words total count&#58;</span>
    
    <span title="Site words total count">46.7k</span>
  
</div>


  <div class="powered-by">由 <a class="theme-link" target="_blank" href="https://hexo.io">Hexo</a> 强力驱动</div>



  <span class="post-meta-divider">|</span>



  <div class="theme-info">主题 &mdash; <a class="theme-link" target="_blank" href="https://github.com/iissnan/hexo-theme-next">NexT.Gemini</a></div>



        







        
      </div>
    </footer>

    
      <div class="back-to-top">
        <i class="fa fa-arrow-up"></i>
        
      </div>
    

    

  </div>

  

<script type="text/javascript">
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>









  












  
  
    <script type="text/javascript" src="/lib/jquery/index.js?v=2.1.3"></script>
  

  
  
    <script type="text/javascript" src="/lib/fastclick/lib/fastclick.min.js?v=1.0.6"></script>
  

  
  
    <script type="text/javascript" src="/lib/jquery_lazyload/jquery.lazyload.js?v=1.9.7"></script>
  

  
  
    <script type="text/javascript" src="/lib/velocity/velocity.min.js?v=1.2.1"></script>
  

  
  
    <script type="text/javascript" src="/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>
  

  
  
    <script type="text/javascript" src="/lib/fancybox/source/jquery.fancybox.pack.js?v=2.1.5"></script>
  


  


  <script type="text/javascript" src="/js/src/utils.js?v=5.1.4"></script>

  <script type="text/javascript" src="/js/src/motion.js?v=5.1.4"></script>



  
  


  <script type="text/javascript" src="/js/src/affix.js?v=5.1.4"></script>

  <script type="text/javascript" src="/js/src/schemes/pisces.js?v=5.1.4"></script>



  
  <script type="text/javascript" src="/js/src/scrollspy.js?v=5.1.4"></script>
<script type="text/javascript" src="/js/src/post-details.js?v=5.1.4"></script>

<script type="text/javascript" src="/custom/fold_action.js?v="></script>





  


  <script type="text/javascript" src="/js/src/bootstrap.js?v=5.1.4"></script>



  


  




	





  





  










  <script src="//code.bdstatic.com/npm/leancloud-storage@4.12.0/dist/av-min.js"></script>
  <script src="//unpkg.com/valine/dist/Valine.min.js"></script>
  
  <script type="text/javascript">
    var GUEST = ['nick','mail','link'];
    var guest = 'nick';
    guest = guest.split(',').filter(item=>{
      return GUEST.indexOf(item)>-1;
    });
    new Valine({
        el: '#comments' ,
        verify: false,
        notify: false,
        appId: 'rg0EMRYKYKMhOh1zwqEKS5jz-gzGzoHsz',
        appKey: 'T04zQc0OzQd1uxOqcVomoGqj',
        placeholder: '(= =)~*只有10086嘘寒问暖',
        avatar:'mm',
        guest_info:guest,
        pageSize:'5' || 10,
    });
  </script>



  

  <script type="text/javascript">
    // Popup Window;
    var isfetched = false;
    var isXml = true;
    // Search DB path;
    var search_path = "";
    if (search_path.length === 0) {
      search_path = "search.xml";
    } else if (/json$/i.test(search_path)) {
      isXml = false;
    }
    var path = "/" + search_path;
    // monitor main search box;

    var onPopupClose = function (e) {
      $('.popup').hide();
      $('#local-search-input').val('');
      $('.search-result-list').remove();
      $('#no-result').remove();
      $(".local-search-pop-overlay").remove();
      $('body').css('overflow', '');
    }

    function proceedsearch() {
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay"></div>')
        .css('overflow', 'hidden');
      $('.search-popup-overlay').click(onPopupClose);
      $('.popup').toggle();
      var $localSearchInput = $('#local-search-input');
      $localSearchInput.attr("autocapitalize", "none");
      $localSearchInput.attr("autocorrect", "off");
      $localSearchInput.focus();
    }

    // search function;
    var searchFunc = function(path, search_id, content_id) {
      'use strict';

      // start loading animation
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay">' +
          '<div id="search-loading-icon">' +
          '<i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>' +
          '</div>' +
          '</div>')
        .css('overflow', 'hidden');
      $("#search-loading-icon").css('margin', '20% auto 0 auto').css('text-align', 'center');

      $.ajax({
        url: path,
        dataType: isXml ? "xml" : "json",
        async: true,
        success: function(res) {
          // get the contents from search data
          isfetched = true;
          $('.popup').detach().appendTo('.header-inner');
          var datas = isXml ? $("entry", res).map(function() {
            return {
              title: $("title", this).text(),
              content: $("content",this).text(),
              url: $("url" , this).text()
            };
          }).get() : res;
          var input = document.getElementById(search_id);
          var resultContent = document.getElementById(content_id);
          var inputEventFunction = function() {
            var searchText = input.value.trim().toLowerCase();
            var keywords = searchText.split(/[\s\-]+/);
            if (keywords.length > 1) {
              keywords.push(searchText);
            }
            var resultItems = [];
            if (searchText.length > 0) {
              // perform local searching
              datas.forEach(function(data) {
                var isMatch = false;
                var hitCount = 0;
                var searchTextCount = 0;
                var title = data.title.trim();
                var titleInLowerCase = title.toLowerCase();
                var content = data.content.trim().replace(/<[^>]+>/g,"");
                var contentInLowerCase = content.toLowerCase();
                var articleUrl = decodeURIComponent(data.url);
                var indexOfTitle = [];
                var indexOfContent = [];
                // only match articles with not empty titles
                if(title != '') {
                  keywords.forEach(function(keyword) {
                    function getIndexByWord(word, text, caseSensitive) {
                      var wordLen = word.length;
                      if (wordLen === 0) {
                        return [];
                      }
                      var startPosition = 0, position = [], index = [];
                      if (!caseSensitive) {
                        text = text.toLowerCase();
                        word = word.toLowerCase();
                      }
                      while ((position = text.indexOf(word, startPosition)) > -1) {
                        index.push({position: position, word: word});
                        startPosition = position + wordLen;
                      }
                      return index;
                    }

                    indexOfTitle = indexOfTitle.concat(getIndexByWord(keyword, titleInLowerCase, false));
                    indexOfContent = indexOfContent.concat(getIndexByWord(keyword, contentInLowerCase, false));
                  });
                  if (indexOfTitle.length > 0 || indexOfContent.length > 0) {
                    isMatch = true;
                    hitCount = indexOfTitle.length + indexOfContent.length;
                  }
                }

                // show search results

                if (isMatch) {
                  // sort index by position of keyword

                  [indexOfTitle, indexOfContent].forEach(function (index) {
                    index.sort(function (itemLeft, itemRight) {
                      if (itemRight.position !== itemLeft.position) {
                        return itemRight.position - itemLeft.position;
                      } else {
                        return itemLeft.word.length - itemRight.word.length;
                      }
                    });
                  });

                  // merge hits into slices

                  function mergeIntoSlice(text, start, end, index) {
                    var item = index[index.length - 1];
                    var position = item.position;
                    var word = item.word;
                    var hits = [];
                    var searchTextCountInSlice = 0;
                    while (position + word.length <= end && index.length != 0) {
                      if (word === searchText) {
                        searchTextCountInSlice++;
                      }
                      hits.push({position: position, length: word.length});
                      var wordEnd = position + word.length;

                      // move to next position of hit

                      index.pop();
                      while (index.length != 0) {
                        item = index[index.length - 1];
                        position = item.position;
                        word = item.word;
                        if (wordEnd > position) {
                          index.pop();
                        } else {
                          break;
                        }
                      }
                    }
                    searchTextCount += searchTextCountInSlice;
                    return {
                      hits: hits,
                      start: start,
                      end: end,
                      searchTextCount: searchTextCountInSlice
                    };
                  }

                  var slicesOfTitle = [];
                  if (indexOfTitle.length != 0) {
                    slicesOfTitle.push(mergeIntoSlice(title, 0, title.length, indexOfTitle));
                  }

                  var slicesOfContent = [];
                  while (indexOfContent.length != 0) {
                    var item = indexOfContent[indexOfContent.length - 1];
                    var position = item.position;
                    var word = item.word;
                    // cut out 100 characters
                    var start = position - 20;
                    var end = position + 80;
                    if(start < 0){
                      start = 0;
                    }
                    if (end < position + word.length) {
                      end = position + word.length;
                    }
                    if(end > content.length){
                      end = content.length;
                    }
                    slicesOfContent.push(mergeIntoSlice(content, start, end, indexOfContent));
                  }

                  // sort slices in content by search text's count and hits' count

                  slicesOfContent.sort(function (sliceLeft, sliceRight) {
                    if (sliceLeft.searchTextCount !== sliceRight.searchTextCount) {
                      return sliceRight.searchTextCount - sliceLeft.searchTextCount;
                    } else if (sliceLeft.hits.length !== sliceRight.hits.length) {
                      return sliceRight.hits.length - sliceLeft.hits.length;
                    } else {
                      return sliceLeft.start - sliceRight.start;
                    }
                  });

                  // select top N slices in content

                  var upperBound = parseInt('1');
                  if (upperBound >= 0) {
                    slicesOfContent = slicesOfContent.slice(0, upperBound);
                  }

                  // highlight title and content

                  function highlightKeyword(text, slice) {
                    var result = '';
                    var prevEnd = slice.start;
                    slice.hits.forEach(function (hit) {
                      result += text.substring(prevEnd, hit.position);
                      var end = hit.position + hit.length;
                      result += '<b class="search-keyword">' + text.substring(hit.position, end) + '</b>';
                      prevEnd = end;
                    });
                    result += text.substring(prevEnd, slice.end);
                    return result;
                  }

                  var resultItem = '';

                  if (slicesOfTitle.length != 0) {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + highlightKeyword(title, slicesOfTitle[0]) + "</a>";
                  } else {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + title + "</a>";
                  }

                  slicesOfContent.forEach(function (slice) {
                    resultItem += "<a href='" + articleUrl + "'>" +
                      "<p class=\"search-result\">" + highlightKeyword(content, slice) +
                      "...</p>" + "</a>";
                  });

                  resultItem += "</li>";
                  resultItems.push({
                    item: resultItem,
                    searchTextCount: searchTextCount,
                    hitCount: hitCount,
                    id: resultItems.length
                  });
                }
              })
            };
            if (keywords.length === 1 && keywords[0] === "") {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-search fa-5x" /></div>'
            } else if (resultItems.length === 0) {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-frown-o fa-5x" /></div>'
            } else {
              resultItems.sort(function (resultLeft, resultRight) {
                if (resultLeft.searchTextCount !== resultRight.searchTextCount) {
                  return resultRight.searchTextCount - resultLeft.searchTextCount;
                } else if (resultLeft.hitCount !== resultRight.hitCount) {
                  return resultRight.hitCount - resultLeft.hitCount;
                } else {
                  return resultRight.id - resultLeft.id;
                }
              });
              var searchResultList = '<ul class=\"search-result-list\">';
              resultItems.forEach(function (result) {
                searchResultList += result.item;
              })
              searchResultList += "</ul>";
              resultContent.innerHTML = searchResultList;
            }
          }

          if ('auto' === 'auto') {
            input.addEventListener('input', inputEventFunction);
          } else {
            $('.search-icon').click(inputEventFunction);
            input.addEventListener('keypress', function (event) {
              if (event.keyCode === 13) {
                inputEventFunction();
              }
            });
          }

          // remove loading animation
          $(".local-search-pop-overlay").remove();
          $('body').css('overflow', '');

          proceedsearch();
        }
      });
    }

    // handle and trigger popup window;
    $('.popup-trigger').click(function(e) {
      e.stopPropagation();
      if (isfetched === false) {
        searchFunc(path, 'local-search-input', 'local-search-result');
      } else {
        proceedsearch();
      };
    });

    $('.popup-btn-close').click(onPopupClose);
    $('.popup').click(function(e){
      e.stopPropagation();
    });
    $(document).on('keyup', function (event) {
      var shouldDismissSearchPopup = event.which === 27 &&
        $('.search-popup').is(':visible');
      if (shouldDismissSearchPopup) {
        onPopupClose();
      }
    });
  </script>





  


  

  

  
  

  

  

  


</body>
</html>

